Image Classification of Wayang Using Transfer Learning and Fine-Tuning of CNN Models

Wayang (shadow puppetry) is a traditional puppetry used in a performance to tell a story about the heroism of its main characters. Wayang has gained recognition as a cultural masterpiece by UNESCO. However, this cultural heritage now declining and not many people know about wayang. One of the solutions is using computer vision technology to classify wayang images. In this research, a transfer learning approach using Convolutional Neural Network (CNN) models namely MobileNetV2 and VGG16 followed by fine-tuning was proposed to classify wayang. The dataset consists of 3,000 images divided into 30 classes. This data is split into training and test data that are utilized for training and evaluating the model. Based on the evaluation, the MobileNetV2 model achieved precision, recall, F1-score, and accuracy of 95%, 94%, 94%, and 94.17%, respectively. Meanwhile, the VGG-16 model obtained 93% for all metrics. It can be concluded that transfer learning and fine-tuning using the MobileNetV2 model produces the best result in classifying wayang images compared to the VGG16 model. With good performance, the proposed method can be implemented on mobile applications to provide information about wayang from the captured images, thus indirectly supporting the preservation of cultural heritage in Indonesia

Laporan Penelitian Model Pengucapan bagi Asisten Virtual Menggunakan Teknik Sintesis dan Konversi Suara

Asisten virtual merupakan perangkat lunak dengan kecerdasan buatan yang dapat membantu manusia melakukan tugas tertentu. Beberapa contoh dari asisten virtual yang populer yaitu Siri dari Apple, Alexa dari Amazon, Cortana dari Microsoft, dan Google Assistant dari Google [1]. Asisten virtual membutuhkan sensor dan model untuk pengucapan agar dapat berinteraksi dengan manusia. Model pengucapan yang akan dikembangkan dalam penelitian ini yaitu model sintesis suara dan model konversi suara. Model sintesis suara saat ini sudah banyak dikembangkan seperti Wavenet dan Tacotron dari Google, Deep Voice dari Baidu dan lainnya. Dalam model sintesis suara dan konversi suara, permasalahan utamanya yaitu bagaimana menghasilkan pengucapan yang natural [2], [3]. Selain itu, metode sintesis suara hanya dapat mengeluarkan suara pengucapan dari pembicara yang ada dalam dataset pelatihan. Hal ini membuat model tersebut tidak variatif apalagi pengguna mempunyai preferensinya masing-masing. Oleh karena itu, dalam penelitian ini juga dikembangkan model konversi suara untuk mengubah suara pembicara tersebut ke suara pembicara yang lainnya. Model konversi suara tidak hanya melakukan transformasi suara tetapi juga harus bisa menirukan suara target yang sesuai pengucapannya tidak hanya dari segi nada tetapi juga aksennya [4]. Penelitian ini bertujuan untuk mengembangkan model pengucapan bahasa Indonesia bagi asisten virtual yang natural mendekati pengucapan manusia dan dapat menerima masukan berupa teks yang disintesis menjadi suara kemudian mengkonversi suara tersebut ke beberapa tipe suara pembicara yang lainnya. Model sintesis suara menggunakan baseline dari model Tacotron [5]. Tacotron merupakan model sintesis suara end-to-end yang dilatih menggunakan input dataset pasangan teks dan pengucapan. Dalam penelitian ini, model akan dilatih menggunakan dataset pengucapan bahasa Indonesia. Model Tacotron dibangun berdasarkan model sequence-to-sequence (seq2seq) yang menggunakan attention sehingga tidak memerlukan penyelarasan tingkat fonem atau fitur linguistik seperti pada model WaveNet. Model ini menggunakan rekonstruksi Griffin-Lim untuk mensitesis pengucapannya. Hasil keluaran modelnya berupa spektrogram yang dapat digunakan untuk membuat sinyal suara dari pembicara tersebut berdasarkan masukan teks yang diberikan. Model konversi suara menggunakan baseline MelGAN (Mel-Generative Adversarial Network) yang dilatih menggunakan inputan dari model Tacotron untuk dikonversi ke suara pembicara dari dataset yang diberikan [6]. Luaran yang dicapai pada penelitian ini yaitu satu artikel ilmiah untuk jurnal nasional terindeks SINTA sebagai luaran wajib. TKT penelitian ini pada skala 3. Penelitian berlangsung selama satu tahun dan ditargetkan mendapatkan hasil model sintesis suara dan konversi suara Bahasa Indonesia

Rekonstruksi 3D Untuk Model Wajah Virtual Akademik Menggunakan Sensor Kinect 2

Massive multiplayer online game (MMOG) seperti world of warcraft, aion atau second life telah mendapatkan perhatian luar biasa pada perkembangan game vitual. Salah satu kelebihan MMOG pada game virtual setiap player dapat berkomunikasi secara langsung yang di wakili dengan karakter visual tiga dimensi. MMOG juga mendukung grafik permainan pada komputer hingga permainan yang digunakan menggunakan karakter visual tiga dimensi menjadi terlihat nyata.Penelitian ini memanfaatkan alat sensor kinect 2 dan Microsoft Kinect yang membantu untuk merekam avatar tiga dimensi yang dapat dipersonalisasikan. Dari perkembangan alat sensor yang bernama Kinect 2 sensor dapat mempermudah rekontruksi 3D untuk model wajah pada avatar game virtual dan di proses menggunakan teknik modeling 3D hingga visual dari hasil sensor Kinect 2 menggambarkan tampak nyata dari player dalam bentuk visual.Penelitian ini menghasilkan rekontruksi 3D untuk model wajah pada avatar game virtual akademik menggunakan sensor Kinect 2. Hasil pengujian SUS untuk uji modelling dan visual avatar 3D menghasilkan nilai rata-rata 41,6 dari sekala 5, maka masuk kategori acceptable yang artinya aplikasi dapat diterima.

Motorcycles detection using Haar-like features and Support Vector Machine on CCTV camera image

Traffic monitoring system allows operators to monitor and analyze each traffic point via CCTV camera. However, it is difficult to monitor each traffic point all the time. This problem leads to the development of intelligent traffic monitoring system using computer vision technology which one of the features is vehicle detection. Vehicle detection still poses a challenge especially when dealing with motorcycles that occupy the majority of the road in Indonesia. In this research, a motorcycle detection method using Haar-like features and Support Vector Machine (SVM) on CCTV camera image is proposed. A set of preprocessing procedure is performed on the input image before Haar-like features extraction. The features then classified using trained SVM model via sliding window technique to detect motorcycles. The test result shows 0.0 log average miss rate and 0.9 average precision. From the low miss rate and high precision, the proposed method shows promising solution in detecting motorcycle from CCTV camera image

Laporan PPM Pelatihan Pembuatan Media Pembelajaran dan Media Presentasi bagi Guru di BKS Umbulharjo

Program ini merupakan kegiatan pengabdian kepada masyarakat dengan skema reguler di bidang ilmu teknik informatika. Pengabdian ini bekerjasama dengan BKS Umbulharjo, Yogyakarta dan dilaksanakan di Laboratorium Teknik Informatika, UAD. Bermula dari kebijakan pemerintah melalui Surat Edaran Menteri Pendidikan dan Kebudayaan Nomor 4 Tahun 2020 tentang pelaksanaan kebijakan pendidikan dalam masa pandemi virus Corona mengharuskan proses belajar dilakukan dari rumah secara daring. Terutama bagi daerah yang masih berada pada status Pemberlakuan Pembatasan Kegiatan Masyarakat (PPKM) level 3 dan 4. Kondisi tersebut berdampak pada sekolah terutama guru di BKS Umbulharjo yang diwajibkan untuk menguasai teknologi agar dapat menyelenggarakan pembelajaran secara daring. BKS Umbulharjo merupakan wadah dari SD/MI Muhammadiyah/Aisyiyah di wilayah Umbulharjo. BKS Umbulharjo mempunyai program kerja untuk mengembangkan, meningkatkan dan menciptakan daya saing civitas sehingga tercipta pengajar yang unggul disertai pemanfaatan teknologi untuk peningkatan kualitas publikasi dan dokumentasi dalam menunjang pembelajaran. Di BKS Umbulharjo, permasalahan yang terjadi adalah sebagian besar guru belum optimal dalam memanfaatkan teknologi seperti media pembelajaran dan media presentasi untuk membantu kegiatan belajar mengajar. Saat ini guru masih menggunakan media pembelajaran konvensional seperti buku cetak dan alat-alat fisik penunjang pembelajaran lainnya. Pembelajaran konvensional tersebut mempunyai keterbatasan yaitu kurang efektif apabila digunakan untuk skenario pembelajaran secara daring sehingga membuat pengalaman belajar siswa menjadi berkurang. Selain itu untuk proses pembelajaran daring, setiap guru harus membuat media untuk presentasi materinya. Selama ini sudah menggunakan Powerpoint tetapi masih biasa dan kurang informatif dan menarik sehingga perlu ditingkatkan keterampilan dalam memaksimalkan fitur dari Powerpoint. Oleh karena itu, pelatihan ini bertujuan untuk meningkatkan kualitas kegiatan belajar mengajar serta meningkatkan keterampilan guru di BKS Umbulharjo dalam memanfaatkan teknologi. PPM ini dimulai bulan Maret dan pelatihannya dilaksanakan pada tanggal 31 Agustus dan 1 September 2021 secara luring di Laboratorium Teknik Informatika dan tanggal 2 dan 3 September 2021 secara daring. Pelatihan dilakukan oleh 3 dosen sebagai pemateri dan 4 orang mahasiswa Teknik Informatika sebagai asisten pemateri dan pelatihan. Metode yang digunakan dalam PPM ini: 1) Persiapan sebelum pelatihan digunakan untuk mengidentifikasi materi yang dibutuhkan oleh guru di BKS Umbulharjo dan membuat modul pelatihannya. 2) Pemaparan pengetahuan digunakan untuk menjelaskan tentang media pembelajaran, media presentasi, teknologinya, dan jenis-jenisnya. 3) Pelatihan dilaksanakan untuk menambah keterampilan guru dalam membuat membuat media pembelajaran dan media presentasi yang informatif dan menarik. 4) Pendampingan dilaksanakan untuk mendampingi peserta setelah pelatihan. 5) Evaluasi digunakan untuk mengetahui kemampuan peserta dalam membuat media pembelajaran dan media presentasi serta melakukan perbaikan bagi PPM berikutnya. Hasil dari kegiatan PPM ini adalah guru di BKS Umbulharjo mampu memanfaatkan teknologi dalam membuat media pembelajaran dan media presentasi yang informatif dan menarik sehingga meningkat pengetahuan dan keterampilannya. Luaran yang telah dihasilkan yaitu modul pelatihan pembuatan media pembelajaran dan media presentasi, artikel ilmiah yang diseminarkan pada Seminar Nasional Hasil Pengabdian Kepada Masyarakat - UAD, artikel yang diterbitkan di media massa, dokumentasi video kegiatan dan kegiatan peningkatan keberdayaan Mitra

Classification of Tiles using Convolutional Neural Network

Tiles are one of the building materials with various types that can make a residence more elegant, attractive, and colorful. However, not all people know about the types of tiles and their advantages. Therefore, a Convolutional Neural Networks (CNN) based method is proposed to make it easier for people to accurately recognize tiles based on their types and know their advantages. The purpose of this paper is to classify the types of tiles using CNN which is based on VGG16 model. The proposed method classifies tiles into 6 classes, namely granite, limestone, marble, motifs, mosaics, and terrazzo. This research uses 186 training data, 96 validation data and 60 test data with image resolution of 224x224. Based on the experiments, the training process produces 100% of training accuracy and 94% of validation accuracy. The testing process achieves 98.33% accuracy which can be concluded that the proposed CNN model able to classify the types of tiles well

Guava Fruit Detection and Classification Using Mask Region-Based Convolutional Neural Network

Guava has various types and each type has different nutritional content, shapes, and colors. It is often difficult for some people to recognize guava correctly with so many varieties of guava on the market. In industry, the classification and segmentation of guava fruit is the first important step in measuring the guava fruit quality. The quality inspection of guava fruit is usually still done manually by observing the size, shape, and color which is prone to mistakes due to human error. Therefore, a method was proposed to detect and classify guava fruit automatically using computer vision technology. This research implements a Mask Region-Based Convolutional Neural Network (Mask R-CNN) which is an extension of Faster R-CNN by adding a branch that is used to predict the segmentation mask in each region of interest in parallel with classification and bounding box regression. The system classifies guava fruit into each category, determines the position of each fruit, and marks the region of each fruit. These outputs can be used for further analysis such as quality inspection. The performance evaluation of guava detection and classification using the Mask R-CNN method achieves an mAR score of 88%, an mAP score of 90%, and an F1-Score of 89%. It can be concluded that the proposed method performs well in detecting and classifying guava fruit